SnapIT: Pesquisa automática de textos extraídos de uma imagem

Você pode combinar a ação Preencher Correspondências de Pesquisa, descrita em Preenchimento da coleção de Pesquisa de Conhecimento, com a capacidade de extrair texto de uma imagem por meio de tecnologias de Reconhecimento Óptico de Caracteres (OCR, na sigla em inglês), descritas no Extraindo texto de imagens como parte de um processo, para fornecer um recurso que nós chamamos de SnapIT. O Snap IT permite que seus usuários finais pesquisem textos extraídos de uma imagem como parte de um processo. Por exemplo, se uma mensagem de erro aparecer para o usuário final, ele poderá capturar a tela ou fotografar a mensagem, registrar um incidente com essa imagem como atributo anexo e receber automaticamente sugestões de solução para o erro.

Esta seção descreve como extrair o texto de uma imagem e pesquisar sobre ele na base de dados de conhecimento, como parte de um processo Incidente. Você pode usar técnicas similares para fazer uso dessa funcionalidade em outros módulos.

Recomendamos que você aplique essa solução gradativamente, garantindo que cada parte esteja funcionando antes de prosseguir para a próxima parte. Primeiro, implemente a extração do texto de uma imagem.

Configurações do sistema OCR

A tecnologia OCR usada (Abbyy) está hospedada na nuvem, e você precisa assinar e registrar uma conta em abbyy.com para que sua empresa possa usá-la. Em seguida, é necessário criar um aplicativo no site Abbyy para que seu sistema possa usar.

Para inserir os detalhes do aplicativo OCR para sua empresa:

  1. No Ivanti Console, no menu Configurações, clique em Sistema.
    A janela Configurações do Sistema é exibida.
  2. Em Configurações de API OCR, defina os valores a seguir:
    Url – o URL para o serviço de web OCR. Configure-o como https://cloud.ocrsdk.com/
    ID da conta – seu nome no aplicativo Abbyy.
    Senha da conta – sua senha no aplicativo Abbyy.
    Tempo de espera máximo – o tempo você deseja esperar por uma resposta. Descobrimos que após 10 segundos qualquer resultado que retorna é, geralmente, de baixa qualidade, portanto, recomendamos configurar esse valor para 10.
  3. Salve as configurações.

Configurando o comportamento OCR.

Quando você tiver definido as configurações do sistema OCR, será possível configurar o objeto e os atributos que serão usados para armazenar a imagem e o texto extraído dela.

Para configurar o comportamento OCR:

  1. Usando o Designer de Objeto, adicione o comportamento OCR ao objeto a partir do qual deseja usar esta funcionalidade.
    Por exemplo, Gerenciamento de Incidentes\Incidente.
  2. Clique em OK e salve as alterações.

    Um novo atributo é adicionado automaticamente ao objeto chamado Status OCR. Esse atributo é usado para registrar se a solicitação OCR funcionou ou não. 0 = nenhum, 1 = bem-sucedido, 2 = falhou.

    Além disso, uma nova ação é criada e pode ser usada no Designer de Processos chamado Extrair Texto.

Quando você tiver criado o objeto com o comportamento OCR, será possível configurar os atributos que armazenarão a imagem e a o texto extraído dela.

  1. Adicione um atributo ao objeto e defina o Tipo de Dados do atributo como Anexo.

    Por exemplo, Anexo OCR.

Certifique-se de deixar a propriedade Tipo de Anexo definida como Nenhum.

  1. Configure a propriedade Habilitar extração de texto? para o atributo como Verdadeiro e salve as alterações.

    Um novo atributo é adicionado ao objeto chamado Texto do título do atributo.

    Por exemplo, Texto do Anexo OCR. Esse é o atributo que armazenará o texto extraído da imagem.

Você pode alterar o texto da ação Extrair Texto (e adicionar versões multilíngues) usando a árvore Objetos de Negócios, no Designer de Processos. Para obter mais informações sobre como usar o Designer de Processos, consulte Designer do processo. Para obter mais informações sobre criação de sistemas multilíngues, consulteProjetar um sistema multilíngue.

Você pode adicionar a propriedade Habilitar extração de texto? a mais de uma atributo de anexo no mesmo objeto. Nesta instância, cada atributo terá seu próprio Texto de..., mas usará a mesa ação de Extrair texto.

Criação da janela e do processo para a extração de texto

Após definir as Configurações do Sistema OCR e o comportamento OCR no objeto desejado, você pode criar a janela e o processo necessários para a extração de texto.

Para criar a janela e o processo:

  1. Usando o Gerenciador de Janelas, adicione os atributos Anexo OCR e Texto do anexo OCR à janela Incidente.

Você também pode adicionar o atributo Status OCR à janela durante a fase de design, para ajudar com qualquer depuração. No entanto, recomendamos remover o atributo Status OCR novamente antes de migrar o design para a versão em funcionamento. Você também pode estender seu processo para registrar um incidente se o Status OCR que retornou for 2.

  1. No Designer de Processos, crie um novo processo sob Gerenciamento de Incidentes\Incidente.

Para obter mais informações sobre como usar o Designer de Processos, consulte Designer do processo.

  1. Expanda a Caixa de Ferramentas (Ícone da caixa de ferramentas) e arraste o Ícone do ponto inicial sobre a área de trabalho.
  2. Arraste uma Instância de Ação Automática sobre o espaço de trabalho.
    A caixa de diálogo Selecionar Ação é exibida.
  3. Selecione Extrair Texto e, em seguida, clique em OK.
    A caixa de diálogo é fechada, e o texto na Instância de Ação Automática é atualizado.
  4. Arraste um Status Inicial sobre o espaço de trabalho.
    A caixa de diálogo Selecionar Status é exibida.
  5. Selecione Abertos e, em seguida, clique em OK.
  6. Vincule o Ícone do ponto inicial à ação Extrair Texto, e a ação Extrair Texto ao status Aberto.
  7. Conclua o processo como necessário, salve-o e ative-o.

Diagrama do processo OCR

  1. No Web Access, adicione um atalho do processo ao processo que você criou.

Para obter informações sobre como adicionar atalhos ao Web Access, consulte Adicionar itens a barra de atalhos. Se você adicionar o atalho ao Self Service, ele também estará disponível no Ivanti Workspaces.

Agora que você concluiu seu design, seus usuários podem usar o novo processo para procurar texto extraído de uma imagem.

Para extrair texto de uma imagem:

  1. Clique no novo atalho para exibir a janela Incidente e preencha os campos obrigatórios.
  2. Clique em Escolher Arquivo ou em Navegar ao lado do campo Anexo OCR (a etiqueta dependerá do navegador que você estiver usando) e selecione uma imagem que contenha um texto.

Se você estiver usando o Workspaces em um dispositivo que possui uma câmera primária apropriada, será possível escolher uma imagem existente ou tirar uma fotografia.

  1. Salve o Incidente.
    Após um curto período, o incidente será salvo, e o campo Texto do Anexo OCR será atualizado para incluir o texto extraído de uma imagem. Se você adicionar o campo Status OCR à janela, ele indicará 1 se a solução OCR for bem-sucedida ou 2 se ela falhar.

Implementação do SnapIT

Quando tiver terminado de configurar a funcionalidade OCR, você poderá configurar a funcionalidade de pesquisa de conhecimento para que ela pesquise automaticamente o banco de dados de conhecimento em busca do texto armazenado no campo Texto do Anexo OCR.

Para pesquisar a base de dados de conhecimento em busca de textos extraídos:

  1. No Centro de Configurações, certifique-se de que Serviço em Segundo Plano, na seção Serviços Configurados, já esteja inicializado para a instância que você está usando.
    O Serviço em Segundo Plano adiciona itens ao banco de dados de conhecimento.
  2. Adicione o comportamento Pesquisa Automática ao objeto Incidente.
    Consulte Preenchimento da coleção de Pesquisa de Conhecimento para obter mais informações
  3. No Designer de Objeto, selecione o atributo Texto do Anexo OCR; em seguida, na grade Propriedades, em Gerenciamento de Conhecimento, defina Tipo de Pesquisa como É Linguagem Natural, e É Pesquisa Automática? como Verdadeiro e salve as alterações.
  4. No Gerenciador de janelas, adicione a coleção Correspondências de Pesquisa à janela Incidente.
  5. No Designer de Processos, desative e abra o processo criado anteriormente.
  6. Arraste uma Instância de Ação Automática sobre o espaço de trabalho.
    A caixa de diálogo Selecionar Ação é exibida.
  7. Selecione Preencher Correspondências de Pesquisa e clique em OK.
    A caixa de diálogo é fechada, e o texto na Instância de Ação Automática é atualizado.
  8. Conecte a ação automática Preencher Correspondências de Pesquisa entre a ação automática Extrair Texto e o status Abertos.

Diagrama de processo OCR com Preencher Correspondências de Pesquisa

  1. Salve e ative o processo.
  2. No Web Access, registre e salve um incidente usando esse processo e anexe uma imagem como antes.
    Desta vez, o campo Texto do Anexo OCR será atualizado para incluir o texto extraído da imagem, como antes, mas a guia Correspondências de Pesquisa também é exibida na parte inferior da janela. Essa guia contém as melhores correspondências da pesquisa de conhecimento do texto extraído da imagem do Anexo OCR e armazenado no campo Texto do Anexo OCR. Você pode abrir os itens dessa guia para visualizar os detalhes.

É possível usar um cálculo para combinar os resultados da guia Correspondências de Pesquisa em um único campo usando a nova função de cálculo adicionada a esta versão. Para obter mais informações, consulte Usar um cálculo para criar um campo único a partir das Correspondências de Pesquisa.

Usando o OCR com Correio

Você pode usar o componente Correio no Console para permitir que o processo descrito acima seja inicializado por um e-mail. Quando você configurar o mapeamento para o e-mail de entrada, mapeio o atributo Anexo, na árvore Atributos de Mensagens, para o atributo Anexo OCR, na árvore Atributos de Negócios, na janela Mapeamento.

Para obter mais informações sobre como configurar o Correio, consulte Correio.